追求 SOTA：时间序列预测必须采用分类特定的评估方法以消除虚假增益

文章背景与核心概要

当前人工智能与机器学习领域在时间序列预测的评估实践中，过度依赖具有强持续周期性和季节性的基准数据集。这种做法导致了“虚假增益”的产生，即复杂的深度学习架构在这些特定数据模式上，往往表现并不优于简单的线性或统计模型。作者认为，这些边际性能提升无法证明其巨大的计算开销和模型复杂性是合理的。

为了解决这一问题，本文呼吁时间序列研究社区淘汰或扩充现有的可预测基准，引入包含结构性断裂、时变波动性和概念漂移等非平稳特征的数据，并强制要求每一项深度学习研究提交时，必须包含稳健的经典基准模型作为对比，以确保研究成果的科学严谨性。

文档元数据

arXiv ID: arXiv:2603.15506 [cs.LG]
学科: 机器学习 (cs.LG); 人工智能 (cs.AI)
ACM 分类: I.2.6; G.3
MSC 分类: 62M10, 62M20, 68T07
DOI: 10.48550/arXiv.2603.15506
许可协议: 知识共享署名-非商业性使用-相同方式共享 4.0 国际

arXiv ID: arXiv:2603.15506 [cs.LG]

Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)

ACM Classes: I.2.6; G.3

MSC Classes: 62M10, 62M20, 68T07

DOI: 10.48550/arXiv.2603.15506

License: Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International

作者

Raeid Saqur
Christoph Bergmeir
Blanka Horvath
Daniel Schmidt
Frank Rudzicz
Terry Lyons

Raeid Saqur

Christoph Bergmeir

Blanka Horvath

Daniel Schmidt

Frank Rudzicz

Terry Lyons

摘要

我们认为，目前评估人工智能/机器学习时间序列预测模型的方法——主要基于具有强持续周期性和季节性的基准测试——通过忽视高效经典方法的表现，掩盖了真正的技术进步。

We argue that the current practice of evaluating AI/ML time-series forecasting models, predominantly on benchmarks characterized by strong, persistent periodicities and seasonalities, obscures real progress by overlooking the performance of efficient classical methods.

我们证明了这些“标准”数据集通常表现出主导的自相关模式和季节性周期，而这些模式可以被更简单的线性或统计模型有效捕获。这使得复杂的深度学习架构在处理这些特定数据特征时，往往表现并不优于其经典对应模型，从而引发了人们对这些边际改进是否足以证明其计算开销和模型复杂性显著增加的合理性的质疑。

We demonstrate that these "standard" datasets often exhibit dominant autocorrelation patterns and seasonal cycles that can be effectively captured by simpler linear or statistical models, rendering complex deep learning architectures frequently no more performant than their classical counterparts for these specific data characteristics, and raising questions as to whether any marginal improvements justify the significant increase in computational overhead and model complexity.

我们呼吁社区： 1. 淘汰或大幅扩充当前的基准测试，引入表现出更广泛非平稳性的数据集——例如结构性断裂、时变波动性和概念漂移——以及来自不同现实领域、可预测性较低的动态数据。 2. 要求每一项深度学习提交都必须包含稳健的经典模型和简单基准，并针对下游任务时间序列的具体特征进行适当选择。

We call on the community to: 1. Retire or substantially augment current benchmarks with datasets exhibiting a wider spectrum of non-stationarities—such as structural breaks, time-varying volatility, and concept drift—along with less predictable dynamics drawn from diverse real-world domains. 2. Require every deep learning submission to include robust classical and simple baselines, appropriately chosen for the specific characteristics of the downstream tasks' time series.

通过这样做，我们将有助于确保所报告的增益反映的是真正的科学方法论进步，而不是基准测试选择偏向于擅长学习重复模式的模型所产生的伪影。

By doing so, we will help ensure that reported gains reflect genuine scientific methodological advances rather than artifacts of benchmark selection favoring models adept at learning repetitive patterns.

提交历史与修订

[v1] 2026年3月16日，周一（首次提交）
[v2] 2026年8月7日，周五（当前版本）—— 澄清了 Transformer 时间顺序声明，加强了基准选择和指标指导，修正了 MSE/MAE 的点预测目标，改进了聚合/报告建议，增加了动态基准协议，修订了天气/评估措辞，使作者邮箱可点击，并增加了五篇支持性参考文献。

[v1] Mon, 16 Mar 2026 (Submitted)

[v2] Fri, 7 Aug 2026 (Current Version) — Clarifies Transformer temporal-order claims, strengthens benchmark-selection and metric guidance, corrects point-forecast targets for MSE/MAE, improves aggregation/reporting recommendations, adds living-benchmark protocols, revises weather/evaluation wording, makes author emails clickable, and adds five supporting references.